Stochastic Estimation of Transduced Language Models
转导语言模型的无偏随机估计
🧭 无偏概率估计与 beam 采样优化
ETH Zürich · University of Copenhagen · CHI-FRO
提出无放回重采样校正的beam-summing估计器，对TLM目标前缀概率给出无偏估计并大幅降低长序列推理时间
📌 工作参考价值（4 点）
- 生成式推荐/query 生成通常用 beam search + 阈值剪枝，这会给候选概率带来未知偏差。可以借鉴无放回采样 beam-summing 替代，获得无偏概率估计，用于后续重排序或校准，并能量化被剪枝的质量损失。
- 在 LLM 受限生成（如 query 规范化、属性抽取）或 FST 组合场景中，该方法比阈值剪枝快几个数量级，适合长目标串在线概率估计，可降低服务时延。
- 该算法随概率质量增加动态减少粒子数，保证停机，对需要严格延迟预算的在线推理系统有借鉴：在高质量区域可提前结束搜索。
- sequential Monte Carlo 基线有放回采样，该方法无放回且用 inclusion probability 校正，改善 compute-variance tradeoff，可迁移到用户模型重要性采样或日志策略评估。